【速報】AWS Lake Formation が3つの新機能トランザクション、行レベルのセキュリティ、アクセラレーションがプレビューになりました #reinvent

日本時間2020年12月10日深夜のAWS re:Invent 2020のリーダーシップセッションにて、AWS Lake Formationが新たに3つの新機能、トランザクション、行レベルのセキュリティ、アクセラレーションがプレビュー開始になりました。

AWS Lake Formationが新たに3つの新機能

• トランザクション
  • 同時更新と一貫したクエリ結果のトランザクション
• 行レベルのセキュリティポリシー
  • きめ細かいアクセス制御のための行レベルのセキュリティポリシー
• アクセラレーション
  • インラインフィルタリング、集計、自動ファイル圧縮による高速アクセス

トランザクション

トランザクションはETLスクリプトとワークフローの開発を簡素化し、複数のユーザーが複数の管理対象テーブルにまたがる行を同時に確実に挿入、削除、変更できるようにします。同じデータの読み取りと書き込みを同時に行うときに一貫性を維持するアプリケーションコードを作成するのは面倒で、脆弱で、エラーが発生しやすいため、これらのソリューションは複雑で拡張が困難でした。

AWS Lake Formationは、governed tableと呼ばれる新しいデータレイクテーブルタイプを使用して、アトミック、一貫性、分離、および耐久性（ACID）トランザクションをサポートする新しいAPIを導入します。管理対象テーブルを使用すると、複数のユーザーがテーブル間で行を同時に挿入、削除、変更できると同時に、他のユーザーが同じデータセットで分析クエリと機械学習モデルを同時に実行して、一貫性のある最新の結果を返すことができます。

また、自身の個人データを削除されるように要求した顧客データの行など、管理対象テーブルの個々の行を更新および削除する機能は、ユーザーがGDPRやCCPAなどのプライバシー法の「忘れられる権利」の規定に準拠するのに役立ちます。

行レベルのセキュリティポリシー

データの管理者はデータセット内のすべてのデータにアクセスする必要がありますが、他のユーザーは社会保障番号などの機密情報の列や他の地域の販売記録などのデータの行を表示することを制限されています。

AWS Lake Formationでは、社会保障番号の列を非表示にするなど、データを表示する権限を持たないユーザーからデータを非表示にするアクセスポリシーを設定できます。行レベルのセキュリティにより、列レベルのポリシーに加えて行レベルのポリシーを設定できるようになりました。たとえば、地域の営業マネージャーがその地域の販売データのみにアクセスできるようにするポリシーを設定できるようになりました。

アクセラレーション

分析のパフォーマンスは、新しいデータがデータレイクに書き込まれるときに自動的に作成される多くの小さなファイルの非効率的なストレージによって影響を受ける場合があります。これらの多くの小さなファイルを処理すると、分析サービスに追加のオーバーヘッドが発生し、クエリ応答が遅くなります。

このプレビューでは、Lake Formationに新しいストレージオプティマイザーが含まれており、小さなファイルを大きなファイルに自動的に結合して、クエリを最大7倍高速化します。このプロセスは一般にcompactionと呼ばれ、バックグラウンドで実行されるため、これが行われている間、本番ワークロードにパフォーマンスの影響はありません。

プレビュー申請はこちら

参考文献